Thôi Thế An xuất thân từ Thôi gia, một trong "tam đại gia tộc Ma Cao". Ông nội của ông là Thôi Cửu Căn (崔九根), cha của ông là Thôi Đức Thắng (崔德勝), chú của ông là Thôi Đức Kỳ (崔德祺). Anh trai và em họ của Thôi Thế An là Thôi Thế Xương (崔世昌) và Thôi Thế Bình (崔世平), cũng là hai nhân vật chính trị trong cơ quan lập pháp và hành chính của Ma Cao.[1][2] Phu nhân của ông là Hoắc Huệ Phân (霍慧芬), bà là cháu gái họ của Hoắc Anh Đông (霍英東)- một doanh nhân có uy thế tại Hồng Kông và từng là phó chủ tịch Hội nghị Hiệp thương Chính trị Nhân dân Trung Quốc, Hoắc phu nhân đã tốt nghiệp Middlesex Polytechnic tại Luân Đôn, Anh Quốc.